var Crawler = require("crawler")
var url = require('url')
var targetUrl = 'http://www.68design.net/work/'

var repoUrls = []
var urllll = []
var titleArray = []
var httpGitUrlArray = []

var c = new Crawler({
  maxConnections: 5,
  callback: function (error, res, done) {
    if(error){
      console.error(error);
    }else{
      var $ = res.$

      // 仓库页面的逻辑处理
      var httpGitUrl = $('.pl-listR-name h1 a').text()+$('.pl-listR-name h1 a').attr("href")
      if(httpGitUrl==''){
        httpGitUrl=$('.pl_list_name h1 a').text()+$('.pl_list_name h1 a').attr("href")
      }

      // 保存到数组中
      httpGitUrlArray.push({
        url: this.uri,
        httpGitUrl: httpGitUrl
      })
    }
    console.log(httpGitUrlArray)
    done();
  }
});

c.queue({
  uri: targetUrl,
  callback: function (error, res, done) {
    if(error){
      console.error(error);
    }else{
      var $ = res.$;
      $('.works-info li').each(function (index, element) {
        var $element = $(element)

        // 获取每个仓库的url
        var href = url.resolve('http://www.68design.net/', $element.find('a').attr('href'))
        repoUrls.push(href)
      })
    }
    
    for(var i=0;i<repoUrls.length;i++){
        c.queue({
          uri: repoUrls[i],
          callback: function (error, res, done) {
            if(error){
              console.error(error);
            }else{
              var $ = res.$;
              // 获取每个仓库的url
              var sanji=$('.pl-listR-name h1 a').attr("href")
              if(!sanji){
                sanji=$('.pl_listR_name h1 a').attr("href")
              }
              urllll.push(sanji)
            }
            console.log(urllll)
            // 直接抓取每个仓库页面
            c.queue(urllll)
          }
        })
    }


    done();



    // 直接抓取每个仓库页面
    // c.queue(repoUrls)
    // done();
  }
})
